Ông còn có tên khác là Lê Tài, Lê Đỉnh,[1] người làng Mộ Trạch, huyện Đường An, phủ Thượng Hồng, thừa tuyên Hải Dương (nay thuộc xã Tân Hồng, huyện Bình Giang, Hải Dương). Ông là cháu nội của danh sĩ Lê Cảnh Tuân cuối đời Trần và là em ruột của Trạng nguyên Lê Nại. Từ nhỏ, ông nổi tiếng văn hay chữ tốt. Khi chưa đỗ, có lần lên kinh đô thăm anh, ông nói với các sĩ tử rằng: "Ta đây là bồ chữ, các anh muốn hỏi chữ gì, sách gì thì lại đây ta sẽ chỉ cho". Mọi người rủ nhau đến hỏi kinh sách, hỏi gì đáp nấy, giảng giải tinh tường khiến ai cũng nể phục. Tuy nhiên, đường khoa bảng ông lại không thành đạt như anh mình, chỉ đỗ đến Hoàng giáp, làm quan cũng chỉ đến Lại bộ Cấp sự trung.